Prečo vám ChatGPT odpovedá nesprávne?
Dôležitým parametrom pri AI, ako sú ChatGPT alebo Gemini, je pojem kontextové okno.
Tento parameter určuje, koľko textu – vstupného aj výstupného – dokáže umelá inteligencia uchovať v aktívnej pamäti. Ide o pamäť platnú pre jednu konverzáciu. Práve preto sa môžete stretnúť s tým, že pri pokuse zmeniť model dostanete varovanie. Zmena by znamenala stratu doterajšej kontextovej pamäte a začiatok konverzácie odznova.
Čo je množstvo tokenov?
Veľkosť tokenov je rôzna a každá AI firma má pre svoje modely rôzne metriky. Niekde sa uvádza, že jeden parameter je jeden znak, inde pokryje slovo alebo časť slova či špeciálnych znakov. Rozdiely sú najmä medzi jazykmi. Slovenčina zaberie viac tokenov kvôli špecifickej abecede ako napríklad angličtina.
Prečo ChatGPT odpovedá zle?
Tu narážame na veľkosť kontextového okna. Ale týkať sa to bude aj verzie Gemini, ktorú máte zadarmo. To, čo vám AI firmy o svojich aplikáciách nepovedia, je práve veľkosť toho, čo si zapamätajú.
Napríklad ChatGPT má vo verzii GPT- 5.2 Instant kontextové okno veľké 32 000 tokenov, teda okolo 24 000 anglických slov. To sa dá predstaviť ako 96 normostrán (jedna normostrana je 250 slov, 1 800 znakov) alebo ako 300-stranová kniha.
Aj keď môžete nahrať dokument, ktorý má viac tokenov, model ho v skutočnosti neprečíta celý. Asi ste sa s tým stretli pri pokuse analyzovať dlhšie dokumenty. Navyše ste dostali len veľmi zjednodušený sumár bez dôležitých dát. Bežný model GPT-5.2 má kontextové okno veľké 128 000 tokenov, GPT-5.2 Thinking/Pro ho zväčšil na 196 000 tokenov.
Pozor na to, že firmy sa pochvália aj inou veľkosťou kontextového okna, typicky pri API použití. Teda cez inú aplikáciu využívajúcu OpenAI modely na diaľku. Tu dostanete k dispozícii až 1 mil. tokenov. Preto ich týmto spôsobom používajú aj programátori. Už len samotný kód je niekedy taký veľký, že by ste presiahli kontextové okno na vstupe, nieto aby ste ešte dostali aj výstup.
Google Gemini
Dôvodom, prečo mnohí pozitívne hodnotia Gemini od Googlu je práve schopnosť pamätať si veľké konverzácie a možnosť zadať rozsiahlejšie vstupy. Google pre svoj model uvádza možnosť spracovať až 1 500 strán textu a hovorí o kontextovom okne v rozsahu 1 – 2 mil. tokenov. Toto ale platí len pre niektoré jeho verzie. Teda nie pre rýchly model, ale napríklad pre Uvažovanie alebo Pro.
Zdroj: Google, OpenAI, vlastné
Prečítajte si aj:
Podobné články
Karikatúry môžu byť rizikové, AI kreslenie o vás prezradí priveľa
ChatGPT spustilo reklamy, zatiaľ iba v USA
OpenAI má novú aplikáciu, ktorú môžete využívať zadarmo
Niektoré ChatGPT modely sa po 13. februári nebudú dať použiť
Európska komisia má opäť výhrady voči Googlu. Na mušku si vzala Gemini AI
ChatGPT a Dočasný čet: Vieme, ako dlho si bude pamätať konverzácie